我们提出KeyCLD,这是一个从图像中学习拉格朗日动态的框架。学到的关键点代表图像中的语义标志性,可以直接代表状态动力学。将这种状态解释为笛卡尔坐标,并与明确的自动限制相结合,允许用约束的拉格朗日表达动力学。我们的方法显式地对动能和势能进行了建模,从而允许基于能量的控制。我们是第一个从DM_Control Pendulum,Cartpole和Acrobot环境中的图像中展示Lagrangian动力学学习的人。这是从现实世界图像中学习拉格朗日动力学的迈出的一步,因为以前的文学作品仅适用于在空背景上具有单色形状的简约图像。请参阅我们的项目页面以获取代码和其他结果:https://rdaems.github.io/keycld/
translated by 谷歌翻译